强大的汉朝早已不满足修复战国和秦朝在山峦险隘处建造的防御性长城，汉军远度阴山，在茫茫草原上直接建造长城，保护投降汉朝的匈奴属国和政权分裂后归降的南匈奴单于，并作为进攻北匈奴的前进基地。这道汉北长城修建在现中蒙交界的草原上，向西经过额济纳等地，一直到了新疆境内。

这道汉北长城建造时就地取材用了夯土和碎石，其残迹今已退化为一道低矮的土陇，只有一些石头修筑的部分还较为明显。内外两道长城的主线均已模糊不清，唯有部分驻军的戍堡还有多处留存，以阴山一带为多，鸡鹿塞、光禄塞等遗址得到了较好保护。

汉武帝元狩二年（公元前121年），霍去病率领数万骑兵开出陇西地区，不断打击匈奴。同年秋，匈奴浑邪王杀休屠王率领大军前来汉室投降。于是河西走廊一带地区就归汉朝所有了。从此“断匈奴右臂”，打通西汉王朝与西域各国的通商之道。为保护这条交通道路的安全，切断匈奴与羌人的联系，汉代开始了大规模修建河西长城。在短短的两三年内，汉武帝修筑了由今甘肃省永登县到酒泉的长城，东面与秦始皇所修长城相接。这是汉武帝第二次较大规模地修筑长城。

汉武帝元鼎六年（公元前111年）至元封元年（公元前110年），武帝又修筑了酒泉到玉门关段的长城，这是他第三次修筑长城。《史记》载：“遣从骠侯破奴，击姑师（今新疆吐鲁番），破奴与轻骑七百余先至，虏楼兰（今罗布泊地区）王，遂破姑师。于是酒泉列亭障至玉门。”所谓亭障，便是堡垒、城堡，同样属于长城的防御体系，只不过亭障与亭障之间缺乏墙体相连接罢了。

汉武帝第四次修筑长城是从太初元年（公元前104年）至太初四年（公元前101年）间，这次修筑的长城段落为玉门关到新疆罗布泊之间。一直到此刻，从汉武帝元狩二年到武帝太初四年的近20年间，汉武帝修筑起由今甘肃兰州至新疆罗布泊长达2000余里的长城与烽燧亭障，使汉代通往西域的大道得到保障。

总的算起来，汉代从西北的河西长城到东北的辽东长城，其长度1万余里，假使再加上今新疆罗布泊、库车一线的亭障，内蒙古一带的列城、城障列亭等，长度可达2万里之上。

汉代长城、亭障、烽堠、列城的遗址在我国新疆、甘肃、宁夏、内蒙古以及河北、山西等省区随处都可看到。例如在河北承德地区有一段残长约15公里的汉长城遗迹，它位于燕、秦长城以南，而又在明长城以北，显然为汉代最先修筑的段落。这段长城东自内蒙古宁城县大营子一带进入河北省承德县三道沟门乡獾子沟车子梁，西南行至志去乡双庙梁。残高1.5米，宽8-10米，大部分为土筑，个别地方以石为基，上筑夯土。

在今河北隆化、丰宁、滦平、北京密云一带也有汉长城遗址分布，而且在上述地方的墩台高达百余座，多设在两河交汇之处的三角地带或交通要冲的山口。墩台多为方形，当地群众称之为“炮台山”、“馒头包”。河北省境内的汉长城构造仍然是“因险制塞”，城墙与墩台搭配而建。